Sau khi tốt nghiệp trường Đại học Ngoại giao, năm 1981, ông được nhận vào làm Chuyên viên Vụ Đào tạo, Bộ Ngoại giao[8], bấy giờ cha ông đang giữ chức Bộ trưởng.

Một năm sau, năm 1982, ông được bổ nhiệm làm Tùy viên Đại sứ quán Việt Nam tại Anh. Sau khi hoàn tất nhiệm kỳ công tác, năm 1986, ông được triệu hồi về nước và được phân công làm Chuyên viên của Vụ Vấn đề chung, Bộ Ngoại giao. Năm 1991, ông được thăng làm Phó Vụ trưởng Vụ các Tổ chức Quốc tế, Bộ Ngoại giao. Cùng năm đó, cha ông nghỉ hưu.

Năm 1999, ông được bổ nhiệm làm Đại sứ, Phó trưởng phái đoàn đại diện thường trực Việt Nam bên cạnh Liên hợp quốc. Từ năm 2001 đến tháng 1 năm 2003, ông được bổ nhiệm làm Công sứ, Phó Đại sứ của Đại sứ quán Việt Nam tại Hoa Kỳ.

Tháng 3 năm 2003, ông được triệu hồi về nước và được bổ nhiệm làm Quyền Vụ trưởng Vụ Các Tổ chức Quốc tế. Đến tháng 8 cùng năm, ông được bổ nhiệm chính thức làm Vụ trưởng.

Tháng 4 năm 2006, tại Đại hội Đại biểu Đảng Cộng sản Việt Nam khóa X, ông được bầu làm Ủy viên dự khuyết Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá X. Tháng 9 cùng năm, ông được bổ nhiệm làm Trợ lý Bộ trưởng Ngoại giao cho Phó Thủ tướng Phạm Gia Khiêm vừa được phê chuẩn chức vụ Bộ trưởng Bộ Ngoại giao.

Tháng 8 năm 2007, ông được bổ nhiệm làm Thứ trưởng Ngoại giao[9]. Tháng 11 cùng năm ông được bổ nhiệm làm Thứ trưởng Thường trực. Tại Hội nghị Lần thứ 9 Ban chấp hành Trung ương khóa X, ông được chuyển từ Ủy viên dự khuyết thành Ủy viên chính thức Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá X từ ngày 13 tháng 1 năm 2009.

Ngày 29 tháng 03 năm 2010, ông được Thủ tướng Nguyễn Tấn Dũng bổ nhiệm kiêm chức Phó Chủ tịch Ủy ban Sông Mê Công Việt Nam.[10]

Tháng 1 năm 2011, tại Đại hội Đảng Cộng sản Việt Nam XI, ông được bầu làm Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá XI.

Đại biểu Quốc hội Việt Nam khóa 13 tỉnh Quảng Ninh

Ngày 22 tháng 5 năm 2011, ông đã trúng cử đại biểu Quốc hội Việt Nam khóa 13 nhiệm kì 2011-2016 ở đơn vị bầu cử số 3 tỉnh Quảng Ninh, gồm huyện Vân Đồn, huyện Cô Tô, huyện Tiên Yên, huyện Đầm Hà, huyện Hải Hà, huyện Bình Liêu, huyện Ba Chẽ và thành phố Móng Cái.

Phó Thủ tướng Chính phủ, Bộ trưởng Bộ Ngoại giao Việt Nam Quốc hội khóa 13

Tháng 8 năm 2011, tại Kỳ họp thứ nhất của Quốc hội Việt Nam khóa XIII, ông đã được phê chuẩn làm Bộ trưởng Bộ Ngoại giao thay cho ông Phạm Gia Khiêm.

Ngày 13 tháng 11 năm 2013, ông được Quốc hội Việt Nam khóa 13 phê chuẩn làm Phó thủ tướng Chính phủ, Bộ trưởng Bộ Ngoại giao.

Tháng 1 năm 2016, tại Đại hội đại biểu toàn quốc lần thứ XII, được bầu vào Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam, được Trung ương bầu vào Bộ Chính trị.

Đại biểu Quốc hội Việt Nam khóa 14 tỉnh Thái Nguyên

Ngày 22 tháng 5 năm 2016, ông trúng cử đại biểu Quốc hội Việt Nam khóa 14 nhiệm kì 2016-2021 ở đơn vị bầu cử số 3 tỉnh Thái Nguyên gồm thành phố Sông Công, thị xã Phổ Yên và huyện Phú Bình, được 231.129 phiếu, đạt tỷ lệ 83,44% số phiếu hợp lệ.[11]

Phó Thủ tướng Chính phủ, Bộ trưởng Bộ Ngoại giao Việt Nam Quốc hội khóa 14

Sáng ngày 28 tháng 7 năm 2016, Quốc hội Việt Nam khóa 14 đã tiến hành phê chuẩn đề nghị của Thủ tướng Chính phủ Nguyễn Xuân Phúc về việc bổ nhiệm ông Phạm Bình Minh làm Phó Thủ tướng Chính phủ, Bộ trưởng Bộ Ngoại giao Việt Nam nhiệm kỳ 2016-2021 bằng hình thức bỏ phiếu kín, kết quả ông Phạm Bình Minh được phê chuẩn với 483/488 phiếu (97,77%).[12]